39年1月，冀鲁豫边区的抗战形势发展很快，但各种杂牌抗日武装颇多，这些抗日武装有地主武装、土匪武装、封建会道门武装、国民党军流散武装等等，遍地都是“司令”。这些武装力量领导、组织好了，是抗日的先进队伍，搞得不好，就会成事不足，败事有余，扰民生事。

    为了统一指挥冀鲁豫边区的抗日武装力量，发展抗日根据地，更加有力地打击日伪军，344旅代旅长和政治部主任，奉八路军总部的命令率两个连及部分干部，从晋东南长治县的柳林出发，离开太行山根据地，越过平汉路，赴冀鲁豫边区收编各种抗日武装，扩大八路军，成立八路军冀鲁豫支队。

    同年4月，杨代旅长、崔主任将原在这一带活动的344旅独立团、挺进支队、黄河支队、陇海支队，与各种地方抗日武装实行整编，成立八路军冀鲁豫支队（此时，三四四旅主力仍在太行山根据地）。

    冀鲁豫支队成立的时候下辖第一、第二、第三等3个大队。